Mekhlis sinh ngày 1 tháng 1 (13 tháng 1 theo lịch mới) năm 1889 trong một gia đình người Do Thái sống tại Odessa. Ông học hết lớp 6 trong một trường tư dành cho người Do Thái. Từ năm 1904 đến 1911, ông hành nghề thư ký và gia sư. Từ năm 1907 đến 1910, ông tham gia Đảng Công nhân Zion (Poale Zion), một tổ chức chính trị theo chủ nghĩa Mác của người Do Thái. Năm 1911, Mekhlis nhập ngũ và phục vụ trong Lữ đoàn lựu pháo số 2. Năm 1912 ông được thăng hàm Hạ sĩ pháo binh (Бомбардир) và sau đó được thăng hàm Trung sĩ pháo binh (Фейерверкер). Mekhlis phục vụ trong quân đội Nga hoàng cho đến năm 1917.